15 российских ETL инструментов

Мы подобрали 15 российских популярных инструментов ETL для различных задач и бизнеса. В нашем списке вы найдете разнообразные решения, способные удовлетворить потребности как небольших компаний, так и крупных предприятий. Каждый из представленных инструментов имеет свои уникальные особенности и возможности. Мы детально описали каждый продукт, чтобы вы могли сравнить и выбрать наиболее подходящий инструмент для вашей организации. При выборе важно учитывать специфику вашего бизнеса, требования к обработке данных, бюджетные ограничения и другие факторы. Мы готовы помочь вам найти оптимальное решение, которое соответствует вашим потребностям и ожиданиям. 

VectorETL

Ссылка

VectorETL — это автоматизированная система, предназначенная для сбора, преобразования и хранения данных. Программа обеспечивает эффективное управление процессами наполнения хранилищ данных путем объединения, преобразования и загрузки информации из различных источников.
Возможности программы: 

• Работа с различными типами баз данных: VectorETL поддерживает работу с реляционными и нереляционными базами данных, такими как PostgreSQL, Clickhouse, Elasticsearch и другими. 
• Загрузка файлов: Программа позволяет загружать файлы с FTP-сервера или компьютера пользователя в различных форматах, таких как xlsx, json, csv, ods, xml, mpp, с возможностью выбора листов и диапазонов для загрузки в случае формата xls. 
• Формирование промежуточных представлений: Для удобного преобразования и подготовки к размещению в хранилище данных, VectorETL позволяет формировать промежуточные представления загружаемых данных. 
• Создание запросов SQL: Пользователи могут создавать запросы SQL для обработки данных в соответствии с требованиями проекта. 

Функциональные возможности: 

• VectorETL предоставляет возможность автоматизированного регламентного сбора информации из внешних систем. 
• Программа позволяет объединять данные из различных систем для их исторического хранения и совместного анализа. 
• VectorETL позволяет хранить и редактировать справочники, классификаторы и каталоги показателей в единой системе, а также осуществлять сбор метаданных. 
• Программа предоставляет возможность предоставления информации внешним системам различными способами, включая представления, web-сервисы и файловый обмен. 
• VectorETL позволяет осуществлять преобразования поступающих данных в нужный формат и сохранять результат в хранилище. 

OneBridge 

Ссылка

OneBridge — это комплексное решение для управления данными, которое автоматизирует и упрощает процессы построения современного хранилища. Оно предоставляет необходимые инструменты для извлечения, структурирования, обогащения и преобразования информации из различных источников, а также автоматизирует их загрузку в хранилище для анализа.
Основные возможности: 

1. OneBridge позволяет извлекать большие массивы информации из различных источников, включая базы данных (Microsoft SQL Server, MySQL, Oracle, PostgreSQL, SQLite), файлы TXT, CSV, Excel, архивы ZIP и TAR, а также из электронной почты. 
2. Пользователи могут загружать данные в различных форматах, включая файлы TXT, CSV, Excel и базы данных (Microsoft SQL Server, MySQL, Oracle, PostgreSQL, SQLite), а также из электронной почты. 
3. OneBridge предоставляет набор инструментов для автоматической сортировки, объединения и фильтрации данных, что позволяет эффективно управлять информацией в процессе обработки. 
4. Система поддерживает отображение истории обработки данных и предоставляет актуальную информацию о задействованных ресурсах сервера, что помогает пользователям отслеживать процессы и управлять ими. 

Преимущества: 

1. Легкое масштабирование. Благодаря многослойной архитектуре OneBridge обеспечивает легкое масштабирование в соответствии с потребностями пользователей. 
2. Набор готовых алгоритмов. Пользователи получают доступ к набору готовых алгоритмов для управления данными, что упрощает процессы обработки и анализа информации. 
3. Пользовательский веб-интерфейс: Простой и понятный пользовательский веб-интерфейс делает работу с OneBridge удобной и эффективной. 

Искусственный интеллект АТОМ

Ссылка

Программа искусственного интеллекта "АТОМ" разработана для обработки сканированных изображений печатных документов в формате PDF. Основная цель - извлечение определенных текстовых данных из документов и сохранение их в редактируемом файле .csv. Для этой цели используются передовые технологии интеллектуальной обработки документов, включая технологию оптического распознавания символов (OCR).
Особенности: 

• Инструмент способен извлекать текстовые данные из сканов и PDF-файлов. 
• Пользователи могут предварительно просматривать и при необходимости редактировать результат обработки скана. 
• Извлеченные данные сохраняются в редактируемом файле в текстовом формате .csv, что обеспечивает удобство дальнейшей работы с ними. 
• Интерфейс интуитивно понятен и прост в использовании, что делает процесс обработки документов более простым. 
• Инструмент подходит для обработки различных типов документов, включая чертежи и документы с табличными данными. 

Процесс работы: 

1. Открытие документа или папки с документами формата PDF в приложении АТОМ. 
2. Выбор типа документа для извлечения необходимых текстовых данных. 
3. Предварительный просмотр и редактирование результатов обработки скана (при необходимости). 
4. Сохранение выборки извлеченных данных в редактируемом файле .csv и обработанного документа в формате PDF. 

Таким образом искусственный интеллект "АТОМ" представляет собой мощный и удобный инструмент для обработки сканированных документов и извлечения из них текстовой информации. 

Q.DataFlows

Ссылка

Q.DataFlows - компонентный программный продукт управления информацией, разработанный для удовлетворения современных требований к системам управления данными. Он позволяет решать задачи аналитической обработки информации, создавать и выполнять процессы преобразования и транспортировки данных между системами, а также обеспечивать контроль качества данных. 

Основные возможности: 

1. Интеграция данных 
2. Быстрое создание процессов извлечения и преобразования данных в простом интерфейсе. 
3. Работа в режимах streaming и batch. 
4. Автоматизация сложных процессов из множества потоков данных для работы с "озером" и хранилищем данных. 

Каталог данных 

• Хранение метаданных и быстрый поиск по ним. 
• Автоматизация управления метаданными из различных информационных систем в едином месте. 
• Связь бизнес-терминов с физическими данными и визуализация путей данных от источников до конечных витрин и отчетов. 
• Контроль качества данных 
• Анализ качества данных на основе настраиваемых бизнес-правил. 
• Мониторинг метрик качества данных и управление бизнес-процессами разрешения выявленных ошибок. 
• Проверка качества данных с помощью конструктора проверок и встраивание процессов проверки в потоки данных. 
• Формирование аналитики и визуализация результатов проверок и протоколов в дашбордах качества данных. 

Этот инструмент позволяет эффективно управлять процессами обработки данных, обеспечивая аналитическую обработку информации, контроль качества данных и интеграцию между различными информационными системами. 

Интеллектуальная логистическая платформа (ИЛП)

Ссылка

Интеллектуальная логистическая платформа разработана для подготовки и эффективного хранения данных, необходимых для решения сложных задач в сфере планирования и обеспечения логистических процессов. Этот интегрированный набор инструментов позволяет извлекать, преобразовывать и экспортировать большие объемы данных при анализе бизнес-процессов в логистике. 

Особенности: 

1. Без программирования: ИЛП позволяет работать с данными любой сложности без необходимости написания кода. 
2. Высокая скорость обработки: Производительные мощности обеспечивают быструю обработку запросов, что повышает эффективность работы. 
3. Отечественное ПО: ИЛП предлагает только программные решения отечественного производства, что обеспечивает безопасность и надежность. 
4. Система каталогов: Использование системы каталогов позволяет пользователям создать свое информационное пространство для удобного хранения данных. 
5. Интерактивный конструктор цепочек данных: Пользователи могут использовать интерактивный конструктор для создания и просмотра всех этапов преобразования данных. 
6. Гибкая ролевая модель: Гибкая ролевая модель обеспечивает безопасный доступ к функциям и данным, что упрощает работу в команде. 

Модули: 

1. Ядро. Включает в себя реализацию математических моделей и алгоритмов обработки данных. 
2. Интеграционный. Обеспечивает единое информационное пространство для работы с данными. 
3. Администрирование. Предоставляет гибкую ролевую модель доступа к функциям и данным. 
4. Импорт данных. Обеспечивает простой интерфейс для подключения к источникам данных и автоматизации импорта в форматах CSV, JSON, XML. 
5. Преобразование данных. Позволяет создавать автоматически собираемые цепочки данных и преобразовывать их в интуитивно понятном интерфейсе. 
6. Экспорт данных. Обеспечивает программные адаптеры для экспорта данных в различные внешние системы. 

Detector.Machinerea 

Ссылка

Detector.Machinerea — это SaaS программный комплекс, который автоматически выявляет технические характеристики из неструктурированного текстового описания товара без участия человека. Он может использоваться как через веб-интерфейс, так и через API запросы. 

Функциональные характеристики:

1. Работает как через веб-интерфейс, так и через API. 
2. Автоматическое определение технических характеристик (с единицами измерения) без участия человека. 
3. Нет ограничений на размер текста и количество технических характеристик в нем. 
4. Работает только с русским языком. 
5. Является SaaS и не требует установки со стороны клиента. 
6. Работа с сервисом возможна как через интерфейс сайта, так и через API. 

Эксплуатация:

Для использования через интерфейс сайта требуется только подключение к интернету и любой браузер, поддерживающий javascript. Пользователь вставляет текст в поле "Описание товара" и нажимает на кнопку "Обработать". Результат обработки отображается в отдельном попапе. 

Для использования через API необходимо внедрение в код на стороне клиента post-запросов в определенном формате. 

SberData Platform 

Ссылка

SberData Platform — это комплексный набор сервисов для работы с данными, предназначенный для современных потребностей в управлении информацией. Платформа включает в себя несколько ключевых сервисов, а также дополнительные инструменты для контроля качества информации и аналитических задач. 

Состав сервисов: 

1. SDP DataFlow: Сервис загрузки и преобразования данных (ETL - Extract, Transform, Load). Позволяет загружать, трансформировать и передавать данные между различными источниками и системами назначения в режимах реального времени и пакетной обработки. 
2. SDP Hadoop: Сервис хранения и обработки больших данных. Интегрируется с другими сервисами платформы, обеспечивая аналитикам и инженерам данных удобство при обработке больших объемов данных. Обеспечивает защиту и надежность хранения данных, а также гибкое использование ресурсов. 
3. SDP AnalyticDB: Сервис аналитического хранилища данных, предоставляющий полноценный SQL-доступ. Позволяет обрабатывать большие объемы данных, настраивать доступ к данным и обеспечивать отказоустойчивость файловой системы. 
4. SDP Analytics: Сервис анализа и визуализации данных, который включает в себя инструменты для визуализации данных, управления сценариями ETL и настройки доступа к информационным панелям. 
5. SDP DataLab: Сервис разработки моделей машинного обучения, который обеспечивает возможности по машинному обучению, глубокому обучению, математической статистике и использованию библиотек, реализующих алгоритмы Data Science. 
6. SDP Data Quality: Сервис контроля качества данных, предназначенный для оценки и управления качеством данных. Позволяет настраивать проверки и бизнес-правила, запускать пользовательские проверки, визуализировать текущее состояние и хранить версионность проверок качества данных. 

Инструменты развертывания:

Для развертывания сервисов Платформы рекомендуется использовать инструмент развертывания SDP Cloud Control. 

SberData Platform предоставляет комплексное решение для управления данными, включая их обработку, хранение, анализ и контроль качества, что делает ее мощным инструментом для современных бизнес-задач, связанных с данными. 

Талион

Ссылка

ПК «Талион» – это программный комплекс, предназначенный для осуществления поисковых операций по текстовым командам пользователя, работающий по принципу «вопрос-ответ» среди структурированных и неструктурированных источников данных. Его задачи включают формирование и выполнение поисковых задач, обработку, систематизацию и каталогизацию информации, а также визуализацию собранных данных в программно-интерпретируемых и визуальном форматах. 

Основные функциональные возможности.
Модуль Хранения данных: 

• Организация хранения данных в структурированном и неструктурированном виде. 
• Организация структуры хранения данных с последующим взаимодействием с модулем Постановки поисковых задач. 
• Масштабирование хранения данных в инфраструктуре наборов данных. 
• Регистрация метаинформации, получаемой по результатам поисковых задач. 

Модуль индексации данных: 

• Реализация структуры по индексации данных для организации предварительного поиска данных. 
• Предварительное сообщение модулю поискового запроса о наличии искомых данных в системе. 
• Извлечение всех связанных с поиском данных после получения положительного ответа. 

Модуль графого представления данных: 

• Организация графового хранения и представления данных. 
• Поиск и объединение одинаковых сущностей, сгенерированных поисковым модулем в рамках задач и подзадач. 
• Формирование ранее неявных связей между объектами для дальнейшего анализа и проведения аналитики. 

Преимущества: 

• Реализация поисковых операций по текстовым командам пользователя. 
• Работа с разнообразными структурированными и неструктурированными источниками данных. 
• Организация хранения, обработки и визуализации данных. 
• Предварительный поиск информации для оптимизации процесса поиска. 
• Графовое представление данных для обнаружения связей и проведения аналитики. 

DBKBT

Ссылка
DBKBT — это SaaS-программное обеспечение для аналитики и менеджмента данных, которое распространяется в виде интернет-сервиса. Пользователи могут получить доступ к функциям системы через интернет-браузер без необходимости установки дополнительного программного обеспечения на своих компьютерах. 

Основные возможности: 

1. Подключение к внешним информационным системам: Пользователи могут интегрировать DBKBT с другими системами для обмена данными и получения внешних источников информации. 
2. Проверка качества и верификация данных: Система предоставляет возможности для проверки качества данных и их верификации, что помогает обеспечить корректность и достоверность информации. 
3. Хранение данных и справочной информации: Пользователи могут сохранять данные и справочную информацию, создаваемую в процессе работы, в базе данных DBKBT для последующего использования. 
4. Настройка и просмотр аналитических панелей: Система позволяет настраивать аналитические панели в соответствии с потребностями пользователей и просматривать результаты анализа данных. 

Особенности:

1. Количество полей данных, их типы, порядок обработки и сверки могут быть настроены индивидуально для каждого пользователя программного обеспечения, что обеспечивает гибкость и персонализацию. 
2. DBKBT представляет собой единый комплекс программного обеспечения, включающий базу данных и набор инструментов для загрузки, хранения, обработки и анализа данных, а также контроля их качества. 
3. Пользователи имеют возможность подключаться к внешним информационным системам и интегрировать их данные в рамках работы с DBKBT. 
4. DBKBT предоставляет широкий спектр функциональных возможностей для работы с данными и обеспечивает пользователей инструментами для эффективного управления информацией в рамках их бизнес-процессов. 

CORMEUM

Ссылка

CORMEUM — это система сбора сведений из открытых ресурсов сети Интернет. Она предназначена для сбора, обработки, фильтрации, хранения, отслеживания изменений и отправки информации из открытых источников в сторонние системы. Система позволяет бизнесу получать актуальную информацию из необходимых источников, анализировать рынок продаж и предложений в разрезе любой индустрии. Для разработчиков система предоставляет удобный инструмент для получения информации из сети, возможность хранить информацию в структурированной форме и самостоятельно управлять скачанными файлами. DevOps-инженеры и администраторы могут использовать CORMEUM для пополнения библиотек справочников и сокращения рутинных операций за счет автоматизации процесса сбора информации. 

Функциональные характеристики:

• Сбор сведений из открытых источников в сети Интернет (сайтов). 
• Обработка полученных сведений: 
• Извлечение необходимой информации и ее структурирование. 
• Отслеживание изменений в структурированной информации. 
• Преобразование структурированной информации. 
• Фильтрация преобразованной структурированной информации. 
• Передача преобразованной структурированной информации в сторонние системы: 
• Передача всей информации всегда. 
• Передача только изменившейся информации. 

Кластрум

Ссылка

Кластрум — это сервис для анализа и визуализации данных, который позволяет подключать источники данных, создавать дашборды, анализировать показатели и взаимосвязи для эффективного контроля бизнес-процессов. Модели данных и аналитические панели могут быть настроены под конкретные бизнес-задачи пользователя, что позволяет оперативно оценить состояние организации по KPI или проанализировать поведение пользователей. 

Основные возможности:

1. Создание цифровых профилей объектов: Кластрум объединяет данные об одном объекте из разных источников, позволяя формировать полноценные профили клиентов, процессов и физических объектов, например таких как недвижимость. 
2. Анализ входящих обращений: Сервис предоставляет статистику обращений пользователей и информацию о решении их вопросов, что помогает контролировать качество обслуживания. 
3. Контроль ключевых показателей: Дашборды позволяют наглядно представить данные о ключевых показателях организации, что помогает сосредоточить внимание руководства на приоритетных задачах. 

Ключевые возможности для анализа данных:

1. Подключение к различным источникам данных, таким как ClickHouse, PostgreSQL, MySQL, Microsoft SQL Server, Apache Kafka и справочникам, например государственный адресный реестр. 
2. Инструменты анализа данных включают в себя связывание, верификацию, сопоставление данных, настройку фильтрации, выборок и срезов. 
3. Визуализация данных в виде графиков, диаграмм и таблиц с возможностью экспорта результатов в форматах XLS, CSV, PDF. 
4. Разграничение прав доступа пользователей как на уровне отдельных графиков, так и на уровне данных. 
5. Технология единого входа по протоколу OpenID Connect для удобства использования. 

Преимущества:

1. Быстрое построение отчетов и дашбордов даже при наличии большого объема данных. 
2. Возможность интеграции с различными источниками данных, что обеспечивает всесторонний анализ. 
3. Гибкое настраиваемая функциональность под конкретные потребности пользователя. 

Datadev Business Platform

Ссылка

Datadev Business Platform представляет собой мощный инструмент для работы с данными, который обеспечивает эффективное управление большими объемами информации. Платформа позволяет создавать новые стратегии, тестировать гипотезы, разрабатывать инновационные подходы, а также монетизировать услуги и снизить риски. 

Основные возможности:

• Сбор данных и их обработка: Автоматизация сбора данных из различных источников, дедупликация, консолидация и регулярное обновление информации. 
• Разработка аналитических моделей: Создание аналитических моделей и скоринговых решений для решения бизнес-задач. 
• Автоматизация внутренних бизнес-процессов: Оптимизация процессов проверки и оценки клиентов или контрагентов. 
• Разработка систем принятия решений: Создание систем принятия решений с возможностью автономного функционирования и гибкой актуализации. 

Особенности:

• Интеграция с различными источниками данных: Более 40 источников информации, включая государственные, коммерческие и открытые базы данных. 
• Многофункциональность и высокая скорость обработки: Обработка запросов за несколько секунд, что позволяет решать оперативные и стратегические задачи в различных отраслях. 
• Аудит качества данных: Проведение аудита качества данных всех источников для обеспечения достоверности информации. 
• Широкий спектр сервисов: Более 70 сервисов для более чем 20 отраслей, что позволяет решать различные бизнес-задачи. 

Datadev Business Platform предоставляет комплексный подход к работе с данными, помогая организациям эффективно управлять информацией и принимать обоснованные решения для достижения успеха в бизнесе. 

Терн ETL

Ссылка

Терн ETL представляет собой современное российское решение для интеграции данных, разработанное с использованием свободно распространяемых компонентов, элементов машинного обучения и искусственного интеллекта. Этот инструмент обладает всем необходимым функционалом для извлечения, преобразования и загрузки данных, а также обеспечивает качественное построение и сопровождение хранилищ данных. 

Основные возможности: 

1. Интеграция данных. Платформа позволяет коррелировать и интегрировать данные из различных источников, включая базы данных, веб-сервисы и другие приложения, обеспечивая их обработку и загрузку в единое хранилище данных. 
2. Обеспечение точности и целостности данных. Используя технологии валидации данных, автоматической очистки данных и контроля целостности данных, Терн ETL гарантирует точность и целостность информации. 
3. Обработка больших объемов данных. С помощью распределенной обработки данных обрабатывает большие объемы информации быстро и эффективно, что уменьшает время обработки данных. 
4. Мониторинг и обнаружение проблем в данных: Платформа осуществляет мониторинг состояния источников данных в реальном времени, автоматически проверяет обновления и обрабатывает ошибки, что значительно сокращает время на обработку данных. 

Преимущества: 

1. Позволяет решать широкий спектр задач в области интеграции данных, обеспечивая максимальную эффективность работы с данными на всех уровнях. 
2. Использует технологии искусственного интеллекта для автоматической обработки данных и проверки их точности, что помогает пользователям принимать более точные решения. 
3. Обеспечивает быструю и эффективную передачу больших объемов данных с помощью дистрибутивной обработки данных, оптимизируя время передачи информации. 
4. Интегрируется с популярными средствами бизнес-анализа, обеспечивая доступ к точной и полной информации для принятия решений. 
5. Позволяет извлекать и обрабатывать данные из различных источников, сокращая вероятность ошибок при их использовании. 

 PARMA Datago

Ссылка

PARMA Datago - это инструмент для быстрого анализа данных, который обеспечивает подключение источников данных, формирование и настройку таблиц с показателями в различных разрезах, визуализацию результатов в виде таблиц, графиков и диаграмм, а также сохранение отчетов и выгрузку данных в нужных форматах. 

Система "PARMA Datago" основана на технологии оперативной аналитической обработки данных (OLAP), что позволяет подготавливать суммарную (агрегированную) информацию на основе больших массивов данных, структурированных по многомерному принципу. Она предназначена для многомерного анализа данных, расчета и аналитической обработки информации, особенно в случае больших объемов данных, требующих анализа. 

Основные задачи: 

1. Минимизация трудозатрат пользователей: Система позволяет сократить трудозатраты пользователей при работе с большими массивами данных, обеспечивая быстрый и эффективный анализ информации. 
2. Экономия времени: PARMA Datago помогает экономить время на поиск и анализ необходимой информации, обеспечивая быстрый доступ к данным и интуитивно понятный интерфейс для работы с ними. 
3. Информационно-аналитическая поддержка принятия управленческих решений: Система предоставляет пользователю информационно-аналитическую поддержку для принятия управленческих решений, предоставляя аналитические инструменты и возможность работы с данными в различных ракурсах. 

Интерпретатор Табличных Данных (ИТД)

Ссылка

Интерпретатор Табличных Данных (ИТД) — это программа, разработанная для преобразования разрозненного (разноформатного) содержимого веб-страниц в структурированные наборы данных. Она позволяет как отображать эти структурированные данные, так и передавать их в сторонние системы. 

Функциональные характеристики ИТД:

1. Загрузка содержимого веб-страниц: ИТД позволяет загружать содержимое веб-страниц для последующей обработки. 
2. Разбор содержимого веб-страниц: Программа анализирует содержимое веб-страниц с целью выявления текста, специфических HTML-тегов и других элементов. 
3. Приведение данных к структурированному формату: ИТД преобразует разрозненные и разноформатные данные, полученные из веб-страниц, в удобный для работы структурированный формат. 
4. Ведение архива данных сохраненных индикаторов: Программа сохраняет архив данных индикаторов, что позволяет отслеживать изменения и историю этих данных. 
5. Отображение виджета с указанием изменений индикаторов: ИТД выводит виджет, который указывает на изменения в индикаторах, позволяя пользователю быстро оценить актуальность данных. 
6. Вывод общего перечня набора данных: Пользователь может получить общий перечень набора данных, соответствующих заданным критериям поиска. 
7. Вывод конкретного набора данных по его номеру: ИТД предоставляет возможность вывода конкретного набора данных по его номеру для детального анализа. 

Интерпретатор Табличных Данных (ИТД) обеспечивает эффективное и удобное преобразование информации с веб-страниц в управляемые и структурированные наборы данных, что упрощает их дальнейшее использование и анализ. 
 

Заключение 

В статье были представлены 15 российских ETL инструментов, каждый из которых обладает своими уникальными особенностями и функциональными возможностями. Они предназначены для различных задач по интеграции, трансформации и загрузке данных, а также обеспечивают широкий спектр функциональности, включая поддержку различных источников данных, масштабируемость, автоматизацию процессов и многие другие возможности. 

Однако, если ни один из представленных инструментов не соответствует вашим требованиям или особенностям проекта вы всегда можете обратиться к нашему каталогу, где представлено более 60 ETL инструментов различных разработчиков. В каталоге вы сможете найти подходящее для вас решение, которое наилучшим образом удовлетворит ваши потребности и поможет успешно реализовать ваши проекты по обработке данных.